CRoS：基于打乱思维链顺序的因果奖励提升推理准确性与忠实度
🧭 LLM 推理训练 · 因果奖励设计
UNC Chapel Hill
用打乱推理步骤顺序而非改变信息内容的因果奖励，缓解结果奖励无法保证 CoT 因果贡献的问题
📌 工作参考价值（4 点）
- 在电商/Agent 场景做 LLM 强化学习时，若只用最终结果正确性做 reward，模型可能产出与答案无关的低质量推理。可借鉴 CRoS 思路：对生成的多步推理/决策轨迹做顺序打乱，观察最终答案是否变化，作为因果性奖励信号。
- 对搜索推荐里的 query 改写、推荐理由生成、Agent 工具调用轨迹等，可以先按步骤/换行/工具调用边界切分，然后随机 shuffle 几步，让模型重新给答案；若答案对顺序不敏感则说明推理缺乏因果链条，适合作为负样本或扣分项。
- 相比删除步骤或注入错误，shuffle 不损失信息，能避免模型钻空子生成冗余、低信息量 CoT；在 reward 工程中可优先采用这种破坏顺序而非内容的因果性检验方式。
- 实现成本不高：只需对已有 RLVR 流程增加一次打乱后前向推理和一致性打分，适合作为 LLM-based recommender / Agent 的辅助 reward 或 offline 过滤指标。
多Token预测与替代分词改进大规模隐式多跳图搜索学习
🧭 多Token预测与分词改进多跳推理学习
University of Toronto · Vector Institute · Manulife Applied AI Research · Dalhousie University
用多token预测和替代分词突破LLM学习隐式多跳图搜索的规模墙，实现稳定训练
📌 工作参考价值（4 点）
- MTP 可作为辅助训练目标加入生成式推荐/Query 改写模型：若任务需要隐式多步推理（如从用户意图推导 query、从 query 推导商品路径），同时预测未来多个 token 或路径节点，能强化模型对中间步骤的规划能力。
- 分词策略对结构化生成任务影响显著：将图路径、商品序列或意图链按更合适的语义单元编码（如子路径、节点对、结构化 token）替代逐节点编码，可降低序列长度、改善学习稳定性，在电商路径生成中值得单独调优。
- 训练信号与分词是两个正交因素，可以独立迭代；工程实现上可先在现有生成式推荐模型上分别尝试 MTP 和调整 item/path tokenization，无需整体重构。
- 论文使用合成图任务，主要是学术贡献，业务直接迁移有限，但其“扩展墙源于监督信号与分词”的归因可迁移到其他需要长程依赖的生成场景（如会话内多跳推荐、广告序列生成）。
何时跟随教师：基于优势的在线策略蒸馏
🧭 LLM 在线蒸馏 · 优势加权
University of Pennsylvania · University of Southern California
AOPD 用学生优势加权教师动作，仅靠标准 rollout 和终局奖励即可无偏估计，提升在线蒸馏效率与效果
📌 工作参考价值（4 点）
- 在生成式推荐/搜索场景做 teacher-student 蒸馏时，不要在所有状态都强行跟随教师；可以用 advantage-weighted 监督，只强化对当前 student 有益的教师动作，减少有害模仿。
- 工程实现上，AOPD 只需要保存 student rollout 的 logprob 和 terminal reward，再用 teacher/student 概率比做 importance weighting 即可，无需额外 rollout 或 reward model，轻量且易接入现有 on-policy 训练流程。
- 若业务中已有用户点击/转化/成交等终局奖励，可把蒸馏目标从 token-level SFT 换成 AOPD 形式，使教师监督与业务回报对齐，尤其适用于 query 推荐、push 文案、商品描述生成等 LLM 应用。
- 自蒸馏设置下也能用同一套优势加权逻辑，从历史高质量策略或大模型生成样本中蒸馏，同时避免拖累当前学生已擅长的状态。
Meta Expert：跨层专家共享的存储与检索高效 MoE
🧭 MoE 架构优化 · 跨层参数共享 ★ 深度解读
Tsinghua University · Shanghai AI Laboratory
用跨层共享的 Meta Expert 替代层私有专家，在 Iso-FLOPs 下仅需 70-80% 专家数即可匹配 Vanilla MoE
📌 工作参考价值（4 点）
- 推荐/广告大模型 MoE 层可直接复用：如果业务中训练 MoE 结构的 LLM（如生成式推荐、用户行为序列建模），可将中间的若干层专家改为跨层共享的 Meta Expert 池，保持每层激活专家数不变，FLOPs 不变，但能节省 20-30% 专家存储参数，降低显存占用和加载成本。
- 多场景/多域专家共享借鉴拓扑设计：论文发现“前两层 + 最后两层保持 Local Expert，中间层共享 Meta Expert”以及“Meta 池分成 2 个 interleaved 子池”效果最好。这可以迁移到多域推荐模型：边界层保留场景特有专家，中间层共享通用专家池，既保留差异化又减少冗余。
- 专家冗余度量可用于模型诊断：用线性 CKA 的 Gini 系数衡量专家功能重叠，可以搬到推荐模型的分析中，识别哪些塔/专家在做重复工作，指导剪枝或共享决策。
- 双向 residual pathway 视角启发架构设计：共享参数层相当于在单次前向中让浅层和深层相互读取同一存储，等价于增加隐式跨层连接。在用户表征学习或序列建模中，可以考虑类似的“共享模块”让不同深度互相访问，而不必显式增加跳跃连接。
BitSparse：ReLU 前馈网络的紧凑激活存储
🧭 训练显存优化 · 稀疏激活无损压缩
University of Cambridge · University of Oxford
提出 GPU 端无损稀疏激活压缩格式 BitSparse，在 Modded-NanoGPT 和 Nemotron-H 上降低每 token VRAM 31%/30%，开销不超过 1%
📌 工作参考价值（4 点）
- 若广告/推荐训练模型使用 ReLU/ReLU² 激活且前馈层存在大量稀疏零激活，可用 BitSparse 无损压缩激活缓存，降低训练 VRAM，支撑更大 batch 或更长序列，不牺牲精度。
- 压缩/解压以 Triton kernel 融合进 autograd function，开销 <1%，可作为自定义 activation checkpointing 的轻量替代或补充，适合在大模型训练框架中集成。
- 支持 BF16 和 FP8 激活，与混合精度训练兼容；业务上若已使用 FP8，可直接复用该压缩思路。
- 预分配 buffer 避免 variable size tensor 分配时的 host synchronization，这个工程技巧对推荐模型中动态序列长度样本的训练同样有价值。
训练推理模型生成多样化科学创意
🧭 LLM 创意生成 · 集合级 RL 多样性
New York University · Stony Brook University · Salesforce AI Research
用集合级强化学习奖励多样性，训练 8B 模型一次生成 K 张高质量且互异的科学创意卡
📌 工作参考价值（4 点）
- 生成多个候选时用距离加权奖励：在推荐理由、广告文案、搜索 query 建议等场景，要求模型一次生成 K 个候选，并在强化学习/偏好优化中把每个候选的质量分数乘以其与已生成候选的语义距离（如 embedding 相似度的倒数），可显著减少重复、提升集内多样性。
- 结构化卡片输出：让模型输出类似 idea card 的结构化 JSON（标题、卖点、理由、证据），便于后续用规则或模型做联合评分、去重与排序；电商可生成“商品卖点卡”或“用户兴趣标签卡”。
- 集合级联合评分替代逐条采样：在 RL/GRPO 中直接对一组 K 个候选做 group-level reward，而不是逐条独立采样打分，能更好平衡质量与覆盖，工程上可用一个 LLM judge 或业务指标作为奖励。
- 执行反馈作为最终验证：借鉴用 coding agent 跑实验验证想法可执行性，在业务中可让生成内容进入仿真或小流量评测，用真实业务指标（CTR、转化）作为 success 信号，避免只靠 LLM 自评。
DisaggKD：通过师生分离与融合损失实现高效知识蒸馏
🧭 知识蒸馏训练效率优化
The University of Tokyo · RIKEN AIP · SB Intuitions Corp.
提出教师-学生分离的KD框架，通过fused loss和prefetch ring突破显存限制，匹配同布局损失并提速
📌 工作参考价值（4 点）
- 在资源受限下做LLM蒸馏（例如蒸馏通用大模型到电商领域小模型用于query理解或排序），采用教师-学生分离部署，教师只前向，学生负责训练，避免同一GPU同时存放两套权重和优化器状态。
- 实现KD loss时，若词表过大，不必显式构造完整logits张量，可通过行窗口和词表分片（vocabulary shards）的融合kernel精确计算loss，既省显存又保持数值一致，适合大词表场景（如搜索词预测、文案生成）。
- 在跨节点流水线并行训练中引入prefetch ring协调生产者和训练者，可掩盖通信延迟，提高吞吐，对需要跨节点数据转移的架构有借鉴意义。
- 使用闭式内存和流量模型提前判断不同布局（colocated vs 分离）的可行性，避免OOM，可在设计训练方案时快速评估，节省试错成本。
哪个技能值得蒸馏？SGUID：为模型-技能协同进化选择紧凑技能库
🧭 LLM 技能蒸馏与模型-技能协同进化
New York University · Amazon
提出SGUID，通过筛选能持续提供有效蒸馏信号的技能子集，实现更稳定高效的模型-技能协同进化。
📌 工作参考价值（4 点）
- 在构建技能/指令库用于 RAG 或 Agent 时，不要仅按语义相关性全量检索；借鉴 SGUID，用 on-policy 蒸馏信号评估每个技能的真实效用，只保留能持续提供正向学习信号的技能，可显著压缩技能库规模（论文中 6 个技能 vs 全库最多 11 倍），降低推理与蒸馏开销。
- 模型-技能协同进化循环可迁移到搜索推荐场景：从线上模型 rollouts 中挖掘新的有效技能（如 query 改写规则、排序策略提示），用选择机制过滤无效技能，避免全量回放导致性能退化（论文中 Qwen3-4B 未过滤技能使 HMMT25 下降 0.3 点）。
- 对生成式推荐或 QueryRec 中的 prompt/技能管理：不是所有提示模板或策略都值得固化进模型，可以通过蒸馏信号筛选少数高价值技能，实现轻量级模型能力提升，特别适合频繁迭代的线上系统。
- 强调选择步骤是保证稳定进化的关键；实际业务中应设置在线评估或小流量实验验证技能有效性，避免直接引入未过滤技能伤害线上模型。
自教师与学生同步：联合在策略学习与教学
🧭 LLM 强化学习 · 自蒸馏训练 ★ 深度解读
Perplexity · NVIDIA
提出JOLT联合训练特权教师与无特权学生，使蒸馏梯度与奖励梯度一致，提升样本效率和最终性能
📌 工作参考价值（4 点）
- 在训练LLM-based推荐/搜索/Agent模型时，若存在特权信息（如用户真实反馈、人工标注、高质量参考），可采用JOLT模式：同一模型联合训练特权教师和无特权学生，教师用KL正则化向学生，避免教师走捷径导致蒸馏信号与奖励梯度相悖。
- 对于稀疏奖励的长程任务（如多轮对话推荐、会话转化优化），JOLT的密集token级监督可大幅提高样本效率；教师可接收用户反馈摘要、历史成功策略等作为privileged context。
- 工程实现简单：共享参数的教师和学生分别生成轨迹，使用logprob ratio作为token权重，结合group advantage归一化，无需额外教师模型。
- 超参数经验：教师KL β_T 和学生蒸馏 β_S 宜设较小值（如β_T=0.001~0.03, β_S=0.1），过大会训练不稳定；学生奖励可用时，JOLT+补充直接RL可进一步提升。
HuatuoGPT-3：从基础模型出发的纯RL领域自适应
🧭 RL-only 大模型领域自适应训练
The Chinese University of Hong Kong, Shenzhen · Shenzhen Research Institute of Big Data · Shenzhen Loop Area Institute · National Health Data Institute, Shenzhen
提出OnePO，以自适应目标演化和教师退休实现RL-only领域自适应，在医学上用20K样本超越SFT+RL和纯RL
📌 工作参考价值（3 点）
- 借鉴 Teacher Retirement 机制：在 RLHF/LLM 微调时，若策略模型在验证集上的奖励或质量指标已稳定超过教师/参考模型，可自动切换为纯 on-policy 采样，避免陈旧教师分布限制探索，适合推荐文案、搜索 query 扩写等生成任务。
- Adaptive Objective Evolution 中强化低概率但有信息量的 token（如商品卖点、数字、属性词），可迁移到电商文案生成或搜索增强，让模型更准确覆盖关键低频 token。
- 仅用 RL 从 base model 开始领域适应，可减少 SFT 对生成多样性的压缩，对推荐理由、对话式推荐等需要多样性的场景有参考；但工程上需要解决冷启动，可采用教师输出作为快速启动的辅助数据。
自适应循环扩散语言模型
🧭 扩散语言模型 · 自适应计算
University of Illinois Chicago · Amazon AGI · Korea University
按 token 难度分配计算，扩散语言模型在多个基准上超越同规模 AR 模型并保持并行解码
📌 工作参考价值（4 点）
- 难度自适应计算可迁移到生成式推荐/query生成：在并行生成 Semantic ID、搜索词或推送文案时，不同 token 的预测难度差异大，可借鉴 ALoDLM 按 token 置信度动态分配迭代次数，避免对简单位置做无谓计算。
- 离散提交 + 隐状态继续精修：对电商场景中的流式生成或交互式 Agent，可将已确定的 token 提前作为条件输入，只对高不确定性 token 保留隐状态继续推理，类似级联早退机制，能显著降低平均延迟。
- 计算调度作为隐变量联合训练：如果把 token 的“停止迭代”决策也作为可学习变量，并用 NELBO 与最终生成质量一起优化，可以在线上对推理预算和业务指标做端到端权衡，比人工固定迭代次数更优。
- 并行解码吞吐优势明显：在需要大批量生成商品标题、广告文案或搜索 suggestion 的场景，扩散式并行解码能提供比 AR 更高的吞吐，适合高 QPS 线上服务。
可扩展可迁移的元网络数据选择需要不同损失
🧭 LLM 训练数据选择与迁移
Nanyang Technological University
提出TESS框架与PVM损失，解决元数据选择网络中的权重抑制与易学特征依赖，实现跨数据集跨模型迁移
📌 工作参考价值（4 点）
- 在电商/推荐/Agent 场景中，可以用小模型或子集训练一个数据选择网络，再直接用于大模型或全量语料，降低多领域语料（商品描述、搜索日志、指令数据）的清洗与配比成本。
- 工程实现上，数据打分网络建议使用 pointwise value matching 回归目标，而不是直接嵌入现有 MTS 排序或对比损失，以避免权重抑制和依赖易学特征导致的不稳定优化。
- 该方法支持跨数据集迁移，可训练一个通用数据选择器对 query 改写、商品标题生成、会话数据等异构语料动态赋权，提升指令微调效率。
- 若业务存在安全或领域定向微调需求，可复用该框架在目标验证集上自动学习数据权重，替代手工规则或启发式评分。
小模型更优负样本：偏好蒸馏的缩放规律
🧭 偏好蒸馏 · 负样本构造与缩放 ★ 深度解读
LinkedIn · University of California, Davis · Arizona State University · Clemson University · Pennsylvania State University
在偏好蒸馏中，用更小的冻结模型生成 rejected 响应，比学生自己生成的负样本效果更好且计算成本更低
📌 工作参考价值（4 点）
- 在偏好训练/对比学习数据构造中，不要默认使用同一模型的失败样本作为负样本；尝试用更小的冻结模型生成负样本，可以在降低推理成本的同时提升学生模型效果，尤其在 SeqKD 初始化后。
- 负样本筛选可借鉴 reference likelihood 指标：在固定候选池内选择参考策略下低似然的样本，能获得更强的对比信号，对电商推荐中的 LLM 生成式排序或文案生成同样适用。
- 混合不同来源的负样本可以线性控制训练效果，实际工程中可通过调节小模型负样本占比来平衡成本和收益，无需完全替换。
- 负样本的部分收益来自任务相关的 token 结构而非 prompt 特定错误，因此可将负样本重新分配给其他 prompt 或做 token 级扰动，用于数据增强，提升负样本利用率。
何时何地信任教师：通过熵校准信用分配统一在线蒸馏与 GRPO
🧭 RLVR 与在线蒸馏统一训练
Shanghai Jiao Tong University · Zhejiang University
提出 UECR-GRPO，在 GRPO 更新中统一 verifier 与 teacher 信号，通过熵校准 token 级信用重分配提升数学推理 RLVR
📌 工作参考价值（4 点）
- 在电商/Agent 场景用 RLVR 训练 LLM 时（如最终成交、点击、任务完成作为 verifier），可以引入一个 teacher LLM 的 log-prob 作为稠密信号；关键是把 teacher 信号和 verifier reward 在 group normalization 与 PPO clipping 之前合并，让 teacher 证据影响 response 排序，而不是事后加权。
- Token 级信用重分配用 response-wise zero-sum projection 保留每个 response 的总任务信用和符号，可借鉴到商品标题生成、对话推荐理由生成等任务：只改变 token 间梯度分配，不改总 reward，降低训练不稳定。
- 全词表 teacher entropy 衰减不确定指导：当 teacher 模型对某些 token 输出很平、熵高时，降低其蒸馏权重；适合电商文本生成中 LLM teacher 噪声大的场景，避免传播错误偏好。
- On-policy 实现中使用 length-normalized teacher score，可避免长文本 recommendation/agent 轨迹中获得更高 teacher score 的长度偏差。
校准教师-学生差异的在线策略蒸馏
🧭 LLM 在线策略蒸馏 · 教师偏差校准
Nanjing University · Southeast University · Nanjing University of Posts and Telecommunications
提出 Cal-OPD，用正负特权干预估计教师自身偏差区域，只保留超出的差异作为训练信号
📌 工作参考价值（3 点）
- 在业务中用大模型（teacher）蒸馏线上小模型做排序/召回/文案生成时，教师输出里混有自身偏差，尤其当输入包含特权信息（如用户真实意图、后验成交标签）时偏差更大；不要全盘学习教师输出，可借鉴 Cal-OPD 思路，通过正向/负向干预构造参考区间，只保留超出该区间的差异作为学习目标。
- 对推荐/广告场景里的生成式特征（如 query 改写、兴趣标签、商品卖点）进行蒸馏时，可以先用提示词注入正确与错误上下文，观察教师输出变化来定位不稳定区域，只对稳定差距做蒸馏，减少噪声传播。
- 实验表明只保留约 52-65% 的原始差异信号就能稳定超越标准 OPD，说明蒸馏数据不是越多越好，过滤掉教师自身波动能提升小模型泛化和训练效率，可指导工程上对蒸馏样本的筛选策略。
贝尔曼策略优化（BPO）：一种无 Critic 的 RLVR 方法
🧭 RLVR 策略优化 · Critic-free ★ 深度解读
Apodex US, Inc. · Princeton University
利用 Bellman 方程将 Policy Mirror Descent 重构为轨迹级目标，避免价值估计，在 AIME 数学推理上显著超过 GRPO 等基线
📌 工作参考价值（4 点）
- 对用 RLVR 训练对话式推荐、解释生成、query 改写等 LLM 任务的团队，可尝试用 BPO 的 token-level 权重替代 GRPO 的 importance ratio：仅将 ratio 换成 (1+ε-μ(y_t|s_t))/(1+ε-π(y_t|s_t))，改动小，且论文显示对 ε、C 超参数不敏感。
- 如果业务奖励是可验证的 terminal reward（如用户点击/转化、任务完成、代码执行、工具调用成功），BPO 提供了一种无需 value model 的 critic-free 更新，省去训练 critic 的 GPU/内存成本，避免 value estimation 误差带来的不稳定。
- 分组归一化 advantage + 互补概率权重 + truncation/masking 的组合，可作为 RLVR 训练中缓解 rollout/training policy mismatch 的工程 trick，尤其适合 MoE 或 router 不稳定等场景。
- 该论文主要在数学推理上验证，直接迁移到推荐/广告文案或 Agent 规划效果需自行验证；但其理论等价性和对超参数的鲁棒性，值得在 reasoning 型推荐 Agent 或 search query 生成中用 A/B 测试评估。
LazyTrain：有限资源下大模型训练的零浪费产出优化
🧭 LLM 训练资源调度优化
IDEA Research · The Hong Kong University of Science and Technology (Guangzhou) · DataArcTech Ltd.
将checkpoint选择、激活放置、重计算与CPU-GPU-NVMe通信重叠建模为混合整数调度，并耦合混合8-bit算子提升单卡训练效率
📌 工作参考价值（4 点）
- 层流式执行器上将 checkpoint 选择、激活 offload、重计算与 PCIe/NVMe 传输显式建模为混合整数调度问题，避免通信暴露在关键路径；自研微调平台或单卡多卡调度时可把“何时 offload/重计算”做成可求解策略而非硬编码规则。
- 8-bit 优化器状态与快速梯度裁剪耦合为混合算子，压缩优化器状态省显存，同时用快速裁剪掩盖 CPU 端更新延迟；适合 LoRA/QLoRA 或全参微调中优化器状态占显存大、需单卡大 batch 的场景。
- 消费级 GPU（RTX 3090）上最大可行 batch size 各模型规模可增加 1，能直接服务推荐/CTR/CVR 模型 LLM backbone 的对比学习、多任务微调，降低单卡试错成本。
- 离线求解调度策略、训练时执行的思想可迁移到推荐系统训练中，把 embedding offload、参数服务器通信、数据搬运也显式建模为调度问题，提升 GPU 利用率。
通过选择性上下文偏好优化学会何时信任
🧭 选择性信任训练 · DPO偏好优化
Duke University · National University of Singapore · UC Berkeley · UC Irvine · Northeastern University
提出选择性信任基准 MIST 与平衡 DPO 训练 SCOPE，使 LLM 在利用上下文时抵御误导信号
📌 工作参考价值（4 点）
- 构建多条件评估集：在 Agent 或 RAG 流程中，可借鉴 MIST 的四条件（干净、误导、正确上下文、无关上下文）设计验证集，评估模型对检索/注入上下文的「选择性信任」能力，避免只测鲁棒性或只测利用率。
- DPO 训练数据构造：利用 clean-correct/misleading-wrong 失败案例构造偏好对，且平衡四种条件（而非仅误导样本），可改善模型在不牺牲正确上下文利用率的前提下降低误导敏感度，适用于微调客服对话、搜索总结等易受噪声上下文影响的 Agent。
- SC2W 指标应用：在推荐解释生成或购物助手场景，可用 SC2W（干净正确被误导翻转为错误的比率）作为核心监控指标，重点检测模型在面对错误产品描述、误导性评论时是否保持正确。
- 工程实现轻量：SCOPE 仅需标准 DPO 训练，无需额外模型结构或强化学习，可直接在现有微调流程中应用，适合业务快速实验。
无监督在策略自蒸馏：仅依赖模型自身一致性
🧭 无监督自蒸馏 · 内部一致性 ★ 深度解读
UC San Diego · Georgia Institute of Technology · University of Maryland, College Park · ByteDance
用模型多路采样投票伪标签实现对未标注数据的高效在策略自蒸馏，在数学推理上超越有监督方法
📌 工作参考价值（4 点）
- 无标签场景自蒸馏：当推荐/搜索/Agent 场景缺乏标注反馈时，可利用同一请求的多路生成投票一致性构建伪标签，驱动模型自我改进，减少对人工标注的依赖。
- 不一致轨迹定向蒸馏：通过对模型输出不一致的样本进行集中蒸馏，定位并修正模型易错/混淆区域，类似推荐中利用用户反馈不确定性进行针对性优化。
- 蒸馏散度选择：Forward KL 显著优于反向 KL 或 JSD，可作为推荐模型知识蒸馏时的默认选择；教师模型使用 EMA 更新（衰减 0.995）比冻结更稳定，可参考用于在线蒸馏。
- 完整性要求：蒸馏必须使用完整推理轨迹而非仅最终答案，提示在生成式推荐（如商品文案）中保留完整生成过程作为教师信号更有效。
知道何时停止：分段信用分配减少过度思考
🧭 LLM推理训练·信用分配
Capital One
利用推理链中的中间答案承诺作为廉价代理，分段分配信用以抑制无益自我反思
📌 工作参考价值（4 点）
- 在构建 Agent 或推荐系统的多步推理链路时，可借鉴「中间答案承诺」作为信号，自动评估后续步骤是否有助于任务目标，从而提前终止无用的推理分支，降低 token 消耗与延迟。
- 在 RLHF 或 GRPO 训练中，可尝试分段信用分配，而非仅对整个轨迹赋分，以更精细地鼓励有效推理、抑制重复验证等低效行为。
- 对于需要多轮交互的对话式推荐或搜索 Agent，可以引入“漂移检测”，若当前回答远离正确方向，则触发策略调整，避免陷入过长的无意义探索。
- 该方法无需额外人工标注或过程奖励模型，仅利用最终答案标签即可实现分段优势塑形，在资源有限的业务场景下性价比高。
传递接力棒：轨迹接力的On-Policy蒸馏
🧭 On-policy 蒸馏 · 接力轨迹
Zhejiang University · Yuvion Team, Alibaba Group
通过检测前缀失败并让教师短暂接管生成修正轨迹，将错误前缀转化为有效蒸馏信号，显著提升小模型数学推理性能
📌 工作参考价值（4 点）
- 前缀失败的无标签检测：利用教师和学生预测分布差异（如相同位置token概率差）作为接力触发信号，无需额外标注，可直接用于对话Agent的推理步骤监控，在发现错误倾向时自动引入更强模型纠正。
- 接力蒸馏减轻训练浪费：电商场景中，如果推荐理由生成或查询改写模型产生错误前缀，可用更大模型局部修正后继续，既能保留学生探索，又能提供正确梯度，比全丢弃重采样更高效。
- 接力预算控制成本：限制最大接力步数和干预次数，将修正集中在关键早期位置，平衡干预收益与计算开销，适合在线学习或大规模分布式训练。
- 思路可迁移至多步推理Agent：当Agent进行多步骤决策（如购物决策、多轮对话）时，若某步走错，可让教师模型介入修正后再交还，最终全程轨迹用于优化学生，提升整体成功率。
如何分配你的 Tokens？带训练步数与批量大小的缩放律
🧭 训练缩放律 · 显式分离步数与批量大小
Inria, École Normale Supérieure, PSL Research University, Paris
提出三项式缩放律，显式分离训练步数和批量大小，用更少实验恢复最优批量并推导次优批量缩放律
📌 工作参考价值（4 点）
- 在推荐/搜索大模型训练中，可利用三项式缩放律预测最优批量大小，减少超参搜索成本，直接根据总 token 预算分配模型大小、步数和批量。
- 当训练数据（如用户行为序列）总量固定时，通过权衡训练步数和批量大小，可在有限资源下达到更优损失，例如在生成式推荐模型微调时，若数据稀缺，可减小批量以增加步数来提升效果。
- 该缩放律允许利用次优批量下的实验点进行拟合，工程上只需少量试跑即可估算资源最优配置，适合多业务线（广告、搜索、推荐）快速探索。
- 推导的次优批量缩放关系可用于设计动态批量策略，例如在训练前期用小批量快速收敛，后期加大批量稳定训练，提升整体效率。
CausalMix：通过因果推断优化语言模型训练数据混合
🧭 数据混合优化 · 因果推断
Tsinghua University · Ant Group · Renmin University of China
将数据混合优化转化为因果推断问题，利用CATE从小规模实验外推到大规模模型与数据
📌 工作参考价值（4 点）
- 推荐模型多域数据配比：电商推荐中常需融合搜索、推荐、广告等多域数据，可借鉴CausalMix用小规模代理实验+因果模型推断最优配比，避免大规模重训。
- 混杂因子控制：将数据域特征（如长度、难度）作为协变量，显式建模以剔除伪相关，提升配比泛化性，适用于动态数据池下的训练策略调整。
- 外推能力：方法支持从0.5B模型外推到7B模型，从512次运行外推至800K数据池，可降低推荐模型在不同规模、不同时段数据上的配比试错成本。
- 可解释性工具：CATE Interpreter提供可视化的混合策略分析，可帮助理解不同数据域对下游任务的影响，指导人工调参。
Influcoder：将解码器梯度影响排名蒸馏至编码器以加速数据归因
🧭 数据归因 · 影响函数加速
Centre Inria de l'Université de Lille · CRIStAL · Université de Lille
通过将解码器梯度影响排名蒸馏为编码器直接输出，实现大规模数据归因的快速近似。
📌 工作参考价值（3 点）
- 大规模数据排查加速：在推荐/Agent 模型出现异常行为（如偏见、违规输出）时，需快速定位有害训练样本。Influcoder 用轻量编码器替代逐样本梯度计算，可在电商场景中用于快速检索“中毒”样本，大幅缩短排查周期。
- 训练数据在线过滤：若已有标注的好/坏样本集，可参照 Influcoder 的排名蒸馏思想，训练一个小型影响评分模型，实时判断新采集的日志样本是否值得加入训练，避免离线全量重算影响函数。
- 蒸馏目标的迁移：方法中的 pairwise 排名损失（使编码器输出排序与真实影响排序一致）可借鉴到其他需要“排序替代计算”的场景，例如召回阶段对候选 item 的重要性排序、特征选择或数据增强样本的优先级评估。
N-GRPO：嵌入级近邻混合增强策略优化
🧭 LLM 训练 · 策略优化 · 探索增强
Zhejiang University · Ant Group
通过语义近邻混合同一 token 的嵌入，在 GRPO 中注入多样性且保持语义一致，提升数学推理
📌 工作参考价值（4 点）
- RL 训练中的探索策略：在 LLM 微调（如推荐理由生成、对话策略、Agent 行动规划）时，使用语义近邻混合替代 token 级采样或随机噪声，可生成更多样但语义连贯的轨迹，缓解模式坍塌。
- 嵌入级扰动技巧：直接操作 token 嵌入而非离散 token，通过 k 近邻插值在连续空间内注入多样性，可迁移至生成式推荐中 Semantic ID 解码时的探索，或对话系统中多样性回复生成。
- 训练稳定性与效率：该方法避免了完全随机的嵌入扰动带来的语义崩溃，训练过程更稳定；工程实现上需预先构建语义近邻索引（如使用 FAISS），推理阶段可快速查表。
- 泛化能力：在分布外任务上也有效，适合电商场景中多变的商品描述和 query 改写，可作为后训练探索的即插即用模块。
为什么 Muon 优于 Adam：曲率视角
🧭 优化器比较 · 曲率与 NDS
National University of Singapore · Yale University · University of Minnesota
Muon 因更低的标准化方向锐度 (NDS) 实现更小的二阶曲率惩罚，从而获得更大的一步损失下降。
📌 工作参考价值（4 点）
- 在大规模推荐或 Agent 模型训练中，可尝试用 Muon 替代 Adam，尤其在数据长尾分布下，Muon 可能带来更快的收敛和更好的泛化。
- 关注 NDS 作为优化器选择的度量：优先选用在训练后段 NDS 更低的优化器，这可能意味着更平滑的收敛和更小的曲率惩罚。
- Muon 的频谱归一化思想可迁移到其他自适应优化器中：通过显式约束更新矩阵的奇异值能量分布，避免梯度对齐高曲率方向导致的优化震荡。
- 数据不平衡（如电商用户行为幂率分布）会放大 Muon 的优势，可据此设计自动优化器选取策略：当数据偏度超过阈值时切换至 Muon 类优化器。
揭秘LLM训练中的数据组织策略
🧭 LLM数据排序与课程学习 ★ 深度解读
Nanyang Technological University · Microsoft Research · The Hong Kong University of Science and Technology
复用预计算样本得分，提出四项数据组织指导原则，实现零额外开销的LLM训练性能提升
📌 工作参考价值（4 点）
- 复用数据选择阶段的样本得分：在推荐模型或Agent训练中，若已有数据质量/难度打分，可直接用于排序训练样本，几乎零额外成本，提升模型效果。
- 数据起始与结尾的边界锐化：训练初期喂低分（简单）样本稳定优化，后期喂高分（高质量）样本冲刺性能，可迁移到生成式推荐或结构化Agent训练的微调阶段。
- 循环调度防遗忘：通过折叠式排列让模型周期性回顾全谱样本，避免灾难性遗忘。对于需要维持多任务能力的Agent（如同时做推荐、对话、工具调用），可在持续学习管线中采用类似交错策略。
- 局部多样性注入：在保持全局课程趋势的前提下，对相邻小批次进行打乱，增强梯度多样性，提高泛化性。在电商搜索或推荐重排序训练中，可避免同质化样本集中导致的过拟合。
组合合成：通过原子分解与重组扩展代码 RLVR 规模
🧭 代码 RLVR 数据生成 · 原子分解重组
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Lero the Research Ireland Centre for Software, University of Limerick · The Chinese University of Hong Kong, Shenzhen · The Hong Kong University of Science and Technology
提出原子分解与重组框架，通过分解并受控重组生成新颖、高难度代码任务，提升 RLVR 训练的可扩展性
📌 工作参考价值（4 点）
- 数据增强思想可迁移至推荐/Agent 场景：在生成推荐 Query、Agent 指令或测试用例时，可将现有数据分解为原子元素（如商品属性、用户意图、操作序列），再通过受控重组生成多样化的新样本，提升训练数据的覆盖度和难度。
- 组合式合成解决多样性瓶颈：业务中常遇到训练样本同质化问题，借鉴原子分解思路，设计可组合的原子单元与约束规则，可系统性生成大量不同难度梯度的样本，用于模型能力爬坡。
- 自动生成高质量验证测试：ADR 同步生成代码与对应单元测试的思路，可迁移到 Agent 任务中自动构造评估用例，例如在生成式推荐中自动生成商品描述并附带可验证的约束条件，实现自动化评测。
- RLVR 训练范式在非代码领域的延伸：论文证明了可验证奖励与合成数据的结合能稳定提升模型能力，若能在电商 Agent 任务中定义可自动验证的奖励信号（如订单成功率、交互符合业务规则），则可套用类似框架进行大规模 RL 训练。
策略蒸馏中的令牌可教性：并非所有分歧都可学习
🧭 LLM 训练 · 策略蒸馏令牌选择优化
The Hong Kong Polytechnic University · InfiX.ai
提出令牌可教性区分可学习与不可兼容的分歧，TA-OPD 仅保留 5% 高可教性令牌蒸馏即可超越全令牌训练
📌 工作参考价值（4 点）
- 蒸馏效率与效果提升：当在电商场景中蒸馏LLM用于商品描述、推荐理由或Agent对话时，可借鉴TA-OPD仅对“可教性”高的token位置施加蒸馏，避免低效甚至有害的监督信号，实验仅用5%令牌即超越全令牌蒸馏，显著节省计算。
- 无需额外模型：TA-OPD仅利用教师和学生logits计算局部兼容性，无需奖励模型或验证器，易于集成到现有蒸馏流程（如生成式推荐中的语义ID生成器蒸馏）。
- 信号质量重新审视：揭示了原始KL散度作为学习价值代理的缺陷，提示在设计蒸馏损失时，应优先关注教师分布与学生top-K候选重叠高的token，而非简单加权高分歧位置，这对多智能体策略迁移中避免灾难性遗忘有参考价值。
- 算法轻量化：可教性计算简单，能在训练时动态筛选token，为推荐系统或Agent中频繁更新的小模型提供了一种低成本、高性能的在线蒸馏策略。
ARES：面向可扩展LLM强化学习的自动化评分标准合成
🧭 LLM 强化学习 · 自动评分标准生成
University of Science and Technology of China · Alibaba Group · National University of Singapore
从预训练文档自动生成问题及实例级加权评分标准，实现开放性任务的大规模强化学习
📌 工作参考价值（4 点）
- 电商客服评价可借鉴：自动生成多维度加权评分标准（如态度、准确性、完整性），取代单一点赞/点踩信号，实现细粒度 RL 训练。
- 生成式推荐中的解释文本评估可用类似 pipeline：从商品知识库生成问答对，合成评估标准，训练模型生成更符合多维质量要求的推荐理由。
- 数据增强策略可复用：利用领域标签和角色信息控制生成多样性，结合 self-containment、faithfulness 等过滤器保证合成数据质量，适合构建领域 RL 训练集。
- 对于 Agent 工具调用等开放性任务，可将任务要求转化为评分标准，自动构造 RL 数据，减少人工设计 reward 的成本。
逼近近似注意力计算的 I/O 最优性
🧭 I/O 高效近似注意力计算
Huawei Technologies
将近似注意力与 I/O 高效算法结合，使数据传输量几乎线性于序列长度，逼近理论下界
📌 工作参考价值（4 点）
- 在长序列场景（如电商用户行为序列或 Agent 长时间交互记忆）中，可参考其近似框架，用多项式展开或低秩分解替代精确 softmax，大幅减少显存访问与传输量。
- 工程实现上，可将近似注意力与 tile 策略结合，在 GPU 共享内存有限的推理环境下获得比 FlashAttention 更低的 I/O 开销，适合边缘部署。
- 论文提供 I/O 下界分析，可用来评估自研注意力近似方案的数据搬运效率是否接近最优，指导算法选型（例如多项式次数、分块大小）。
- 对于生成式推荐中的语义 ID 序列建模，长上下文注意力是瓶颈，借鉴此近似方法有望在损失微小精度下换取显著的训练/推理速度提升。
LLM 作为噪声信道：香农视角下的模型容量与缩放定律
🧭 LLM 训练缩放定律 · 香农信道理论
ByteDance Seed · University of Virginia · University of California, Berkeley
将 LLM 训练建模为噪声信道传输，提出香农缩放定律，解释非单调性能下降
📌 工作参考价值（4 点）
- 在推荐模型或生成式推荐训练中，当数据量增加但信息增益不高时，应监控性能非单调下降，可借鉴信噪比思考合理的数据配比与早停策略。
- 模型量化或压缩时，使用信噪比框架评估退化风险，避免 U 型性能崩塌，尤其适用于电商知识图谱 embedding 等场景。
- 多任务训练中，不同任务的噪声可能相互干扰，可依据信噪比动态调整任务权重，类似于信号功率的分配。
- 主要是理论贡献，可直接复用的工程 trick 较少，但为理解缩放瓶颈提供了新视角，有助于在模型升级决策时避免盲目扩展参数或数据。
DynMuon：动态频谱塑形优化器
🧭 动态频谱塑形优化 · Muon改进 ★ 深度解读
University of Wisconsin–Madison · MIT · Elorian AI
动态调度Muon类矩阵更新的频谱指数p从正到负，早期聚焦高曲率方向，后期转向平坦方向，实现更优收敛
📌 工作参考价值（4 点）
- 动态频谱调度可迁移：在训练推荐模型（如CTR预估、Embedding矩阵）的矩阵参数时，可引入类似DynMuon的阶段式频谱调整，前期用高曲率方向加速信号衰减，后期转向平坦方向捕捉剩余信号，避免固定谱变换的次优性。
- 高效近似实现：利用Newton–Schulz迭代+二阶泰勒展开近似任意p的UΣ^pV^T更新，额外计算成本仅比Muon增加0.3%~2.5%，可即插即用地嵌入现有AdamW/Muon框架，适合大规模电商模型训练。
- 噪声感知的调度设计思路：通过曲率方向上的信号-噪声分解（如本文的mode-wise分析），可诊断训练中各子空间的优化状态，指导自适应调度，例如在Agent多智体协作训练中动态分配参数更新强度。
- 简单的logistic调度策略：p从1平滑降至-0.25，仅需两个超参数（τ, w），鲁棒性强，无需在线估计曲率，可直接作为默认配置，为其他动态优化器设计提供参考。